Вообще термин "Монте Карло" (МК) используют для обозначения широкого спектра методов, основанных на повторении случайных выборок. В обучении с подкреплением (RL) методы МК позволяют производить оценку значений непосредственно из опыта: из последовательности состояний (state), действий (action) и вознаграждений (reward ( Read more... )

• k-armed бандит и 𝜺-greedy алгоритм
• k-armed бандит и 𝜺-greedy алгоритм. Нестационарная проблема.
• k-armed бандит и 𝜺-greedy алгоритм. Оптимистичная инициализация переменной.

На результат работы алгоритма оказывает влияние изначальная инициализация переменной оценочного вознаграждения Q. В статистике это влияние называется bias.
Для методов с переменным ( Read more... )

• k-armed бандит и 𝜺-greedy алгоритм. Оптимистичная инициализация переменной.
• k-armed бандит и 𝜺-greedy алгоритм. Нестационарная проблема.
• k-armed бандит и 𝜺-greedy алгоритм

Представим, что ситуация немного поменялась и началась флуктуация реальных ожидаемых наград, то есть они перестали быть стационарными, как в предыдущем случае.
Допустим, исходные ( Read more... )

• k-armed бандит и 𝜺-greedy алгоритм
• k-armed бандит и 𝜺-greedy алгоритм. Нестационарная проблема.
• k-armed бандит и 𝜺-greedy алгоритм. Оптимистичная инициализация переменной.

При решении проблемы k-рукого бандита на каждом временном отрезке t есть два варианта действий: использование текущего знания о максимальном вознаграждении (exploiting) и ( Read more... )